The long-standing theory that a colour-naming system evolves under the dual pressure of efficient communication and perceptual mechanism is supported by more and more linguistic studies including the analysis of four decades' diachronic data from the Nafaanra language. This inspires us to explore whether artificial intelligence could evolve and discover a similar colour-naming system via optimising the communication efficiency represented by high-level recognition performance. Here, we propose a novel colour quantisation transformer, CQFormer, that quantises colour space while maintaining the accuracy of machine recognition on the quantised images. Given an RGB image, Annotation Branch maps it into an index map before generating the quantised image with a colour palette, meanwhile the Palette Branch utilises a key-point detection way to find proper colours in palette among whole colour space. By interacting with colour annotation, CQFormer is able to balance both the machine vision accuracy and colour perceptual structure such as distinct and stable colour distribution for discovered colour system. Very interestingly, we even observe the consistent evolution pattern between our artificial colour system and basic colour terms across human languages. Besides, our colour quantisation method also offers an efficient quantisation method that effectively compresses the image storage while maintaining a high performance in high-level recognition tasks such as classification and detection. Extensive experiments demonstrate the superior performance of our method with extremely low bit-rate colours. We will release the source code soon.

In dense image segmentation tasks (e.g., semantic, panoptic), existing methods can hardly generalize well to unseen image domains, predefined classes, and image resolution & quality variations. Motivated by these observations, we construct a large-scale entity segmentation dataset to explore fine-grained entity segmentation, with a strong focus on open-world and high-quality dense segmentation. The dataset contains images spanning diverse image domains and resolutions, along with high-quality mask annotations for training and testing. Given the high-quality and -resolution nature of the dataset, we propose CropFormer for high-quality segmentation, which can improve mask prediction using high-res image crops that provide more fine-grained image details than the full image. CropFormer is the first query-based Transformer architecture that can effectively ensemble mask predictions from multiple image crops, by learning queries that can associate the same entities across the full image and its crop. With CropFormer, we achieve a significant AP gain of $1.9$ on the challenging fine-grained entity segmentation task. The dataset and code will be released at http://luqi.info/entityv2.github.io/.

语言模型（LMS）被证明具有对物理世界的常识知识，这对于在日常情况下完成任务至关重要。但是，LMS是否有能力为具体任务生成扎根的可执行计划，这仍然是一个悬而未决的问题。这是非常具有挑战性的，因为LMS没有“眼睛”或“手”来感知现实的环境。在这项工作中，我们展示了有关这个重要研究问题的第一个研究。我们首先提出了一个名为G-Planet的新型问题公式，它将其作为输入一个高级目标和在特定环境中的对象表。预期输出是一个计划，该计划包括逐步指令供代理执行。为了实现此问题的研究，我们建立了一个评估协议，并设计了一个专门的指标来评估计划的质量。在我们的广泛实验中，我们表明，为编码环境添加扁平表并使用迭代解码策略都可以提高LMS的基础计划能力。我们对结果的分析也导致有趣的非平凡发现。

现有的视频域改编（DA）方法需要存储视频帧的所有时间组合或配对源和目标视频，这些视频和目标视频成本昂贵，无法扩展到长时间的视频。为了解决这些局限性，我们建议采用以下记忆高效的基于图形的视频DA方法。首先，我们的方法模型每个源或目标视频通过图：节点表示视频帧和边缘表示帧之间的时间或视觉相似性关系。我们使用图形注意力网络来了解单个帧的重量，并同时将源和目标视频对齐到域不变的图形特征空间中。我们的方法没有存储大量的子视频，而是仅构建一个图形，其中一个视频的图形注意机制，从而大大降低了内存成本。广泛的实验表明，与最先进的方法相比，我们在降低内存成本的同时取得了卓越的性能。

图像恢复算法（例如超级分辨率（SR））是低质量图像中对象检测的必不可少的预处理模块。这些算法中的大多数假定降解是固定的，并且已知先验。但是，实际上，实际降解或最佳的上采样率是未知或与假设不同的，导致预处理模块和随之而来的高级任务（例如对象检测）的性能恶化。在这里，我们提出了一个新颖的自我监督框架，以检测低分辨率图像降解的对象。我们利用下采样降解作为一种自我监督信号的一种转换，以探索针对各种分辨率和其他退化条件的模棱两可的表示。自我设计（AERIS）框架中的自动编码分辨率可以进一步利用高级SR体系结构，并使用任意分辨率恢复解码器，以从退化的输入图像中重建原始对应关系。表示学习和对象检测均以端到端的培训方式共同优化。通用AERIS框架可以在具有不同骨架的各种主流对象检测架构上实现。广泛的实验表明，与现有方法相比，我们的方法在面对变化降解情况时取得了卓越的性能。代码将在https://github.com/cuiziteng/eccv_aeris上发布。

基于视频的自动化手术技能评估是协助年轻的外科学员，尤其是在资源贫乏地区的一项有前途的任务。现有作品通常诉诸CNN-LSTM联合框架，该框架对LSTM的长期关系建模在空间汇总的短期CNN功能上。但是，这种做法将不可避免地忽略了空间维度中工具，组织和背景等语义概念之间的差异，从而阻碍了随后的时间关系建模。在本文中，我们提出了一个新型的技能评估框架，视频语义聚合（Visa），该框架发现了不同的语义部分，并将它们汇总在时空维度上。语义部分的明确发现提供了一种解释性的可视化，以帮助理解神经网络的决策。它还使我们能够进一步合并辅助信息，例如运动学数据，以改善表示和性能。与最新方法相比，两个数据集的实验显示了签证的竞争力。源代码可在以下网址获得：bit.ly/miccai2022visa。

主动扬声器检测在人机相互作用中起着至关重要的作用。最近，出现了一些端到端的视听框架。但是，这些模型的推理时间没有被探索，并且由于其复杂性和较大的输入大小而不适用于实时应用。此外，他们探索了类似的功能提取策略，该策略在音频和视觉输入中采用了Convnet。这项工作提出了一种新型的两流端到端框架融合，通过VGG-M从图像中提取的特征与原始MEL频率Cepstrum系数从音频波形提取。该网络在每个流上附有两个BigRu层，以处理融合之前每个流的时间动态。融合后，将一个BigRU层附着在建模联合时间动力学上。 AVA-ACTIVESPEAKER数据集的实验结果表明，我们的新功能提取策略对嘈杂信号的鲁棒性和推理时间比在这两种模式上使用Convnet的模型更好。提出的模型预测44.41 ms之内，足够快地用于实时应用程序。我们表现​​最佳的模型获得了88.929％的精度，与最先进的工作相同。

本文提出了一个逐步连接的光场网络（Prolif），以构成复杂的前向场景的新观点。扩散编码一个4D光场，该场允许在一个训练步骤中渲染大量射线，以实现图像或贴片级损失。直接从图像中学习神经光场很难呈现多视图一致的图像，因为它对基础3D几何形状的不了解。为了解决这个问题，我们提出了一种渐进培训计划和正则化损失，以推断训练过程中的基础几何形状，这两者都会实现多视图一致性，从而极大地提高了渲染质量。实验表明，与香草神经光场相比，我们的方法能够实现明显更好的渲染质量，并且与挑战性的LLFF数据集和闪亮对象数据集的类似NERF的渲染方法相当。此外，我们证明了与LPIP的损失更好的兼容性，以实现与不同的光条件和剪辑损失的稳健性，以控制场景的渲染方式。项目页面：https：//totoro97.github.io/projects/prolif。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

时空动作检测是视频理解的重要组成部分。当前的时空动作检测方法将首先使用对象检测器获得人候选建议。然后，该模型将将候选人分为不同的行动类别。所谓的两阶段方法很重，很难在现实世界应用中应用。一些现有的方法使用统一的模型结构，但它们使用香草模型的性能不佳，并且通常需要额外的模块来提高性能。在本文中，我们探讨了建立端到端时空动作探测器的策略，其修改最少。为此，我们提出了一种名为ME-STAD的新方法，该方法以端到端的方式解决了空间 - 周期性动作检测问题。除模型设计外，我们还提出了一种新颖的标签策略，以处理空间数据集中的稀疏注释。提出的ME-STAD比原始的两阶段探测器和减少80％的FLOPS取得更好的结果（2.2％的MAP增强）。此外，我们提出的我的stad仅具有先前方法的最小修改，并且不需要额外的组件。我们的代码将公开。